format 8 
markov testmarkov(lam, mu, fr, rr) readprobs 
5_0 5_1 lam
5_0 4_0 5*fr
5_1 5_0 mu
5_1 5_2 lam
5_1 4_1 5*fr
5_2 5_1 2*mu
5_2 5_3 lam
5_2 4_2 5*fr
5_3 5_2 3*mu
5_3 5_4 lam
5_3 4_3 5*fr
5_4 5_3 4*mu
5_4 5_5 lam
5_4 4_4 5*fr
5_5 5_4 5*mu
5_5 4_4 5*fr
4_0 5_0 rr
4_0 3_0 4*fr
4_0 4_1 lam
4_1 3_1 4*fr
4_1 5_1 rr
4_1 4_2 lam
4_1 4_0 mu
4_2 3_2 4*fr
4_2 5_2 rr
4_2 4_3 lam
4_2 4_1 2*mu
4_3 5_3 rr
4_3 3_3 4*fr
4_3 4_4 lam
4_3 4_2 3*mu
4_4 5_4 rr
4_4 3_3 4*fr
4_4 4_3 4*mu
3_0 2_0 3*fr
3_0 4_0 rr
3_0 3_1 lam
3_1 2_1 3*fr
3_1 4_1 rr
3_1 3_2 lam
3_1 3_0 mu
3_2 2_2 3*fr
3_2 4_2 rr
3_2 3_3 lam
3_2 3_1 2*mu
3_3 4_3 rr
3_3 2_2 3*fr
3_3 3_2 3*mu
2_0 3_0 rr
2_0 2_1 lam
2_0 1_0 2*fr
2_1 3_1 rr
2_1 2_2 lam
2_1 2_0 mu
2_1 1_1 2*fr
2_2 3_2 rr
2_2 2_1 mu
2_2 1_1 2*fr
1_0 2_0 rr
1_0 1_1 lam
1_0 0_0 fr
1_1 2_1 rr
1_1 1_0 mu
1_1 0_0 fr
0_0 1_0 rr
* Reward configuration defined: 
reward
5_0 rew_5_0 
5_1 rew_5_1 
5_2 rew_5_2 
5_3 rew_5_3 
5_4 rew_5_4 
5_5 rew_5_5 
4_0 rew_4_0 
4_1 rew_4_1 
4_2 rew_4_2 
4_3 rew_4_3 
4_4 rew_4_4 
3_0 rew_3_0 
3_1 rew_3_1 
3_2 rew_3_2 
3_3 rew_3_3 
2_0 rew_2_0 
2_1 rew_2_1 
2_2 rew_2_2 
1_0 rew_1_0 
1_1 rew_1_1 
0_0 rew_0_0 
end
* Initial Probabilities defined: 
5_0 init_5_0 
5_1 init_5_1 
5_2 init_5_2 
5_3 init_5_3 
5_4 init_5_4 
5_5 init_5_5 
4_0 init_4_0 
4_1 init_4_1 
4_2 init_4_2 
4_3 init_4_3 
4_4 init_4_4 
3_0 init_3_0 
3_1 init_3_1 
3_2 init_3_2 
3_3 init_3_3 
2_0 init_2_0 
2_1 init_2_1 
2_2 init_2_2 
1_0 init_1_0 
1_1 init_1_1 
0_0 init_0_0 
end

* Reward configuration assigned: 
bind
   rew_5_0 0
   rew_5_1 0
   rew_5_2 0
   rew_5_3 0
   rew_5_4 0
   rew_5_5 0
   rew_4_0 0
   rew_4_1 0
   rew_4_2 0
   rew_4_3 0
   rew_4_4 0
   rew_3_0 0
   rew_3_1 0
   rew_3_2 0
   rew_3_3 0
   rew_2_0 0
   rew_2_1 0
   rew_2_2 0
   rew_1_0 0
   rew_1_1 0
   rew_0_0 0
end

* Initial Probailities assigned:
bind
   init_5_0 0
   init_5_1 0
   init_5_2 0
   init_5_3 0
   init_5_4 0
   init_5_5 0
   init_4_0 0
   init_4_1 0
   init_4_2 0
   init_4_3 0
   init_4_4 0
   init_3_0 0
   init_3_1 0
   init_3_2 0
   init_3_3 0
   init_2_0 0
   init_2_1 0
   init_2_2 0
   init_1_0 0
   init_1_1 0
   init_0_0 0
end


* REWARD configuration: block
bind
   rew_5_5  1
   rew_5_4  0
   rew_5_3  0
   rew_5_2  0
   rew_5_1  0
   rew_3_3  1
   rew_5_0  0
   rew_3_2  0
   rew_3_1  0
   rew_3_0  0
   rew_1_1  1
   rew_1_0  0
   rew_4_4  1
   rew_4_3  0
   rew_4_2  0
   rew_4_1  0
   rew_4_0  0
   rew_2_2  1
   rew_2_1  0
   rew_2_0  0
   rew_0_0  1
end 


* Initial Probability: initprob
bind
   init_5_5  0
   init_5_4  0
   init_5_3  0
   init_5_2  0
   init_5_1  0
   init_3_3  0
   init_5_0  1
   init_3_2  0
   init_3_1  0
   init_3_0  0
   init_1_1  0
   init_1_0  0
   init_4_4  0
   init_4_3  0
   init_4_2  0
   init_4_1  0
   init_4_0  0
   init_2_2  0
   init_2_1  0
   init_2_0  0
   init_0_0  0
end 


bind lam 3
bind mu 4
bind fr 6
bind rr 7

func Expected_Reward_Rate_at_Time_T(t) exrt(t, testmarkov; lam, mu, fr, rr)
loop t,0,5,0.1
expr Expected_Reward_Rate_at_Time_T(t)
end

end
